Sonic Aquarium
Sonic Aquarium -Resonanced-
https://lh3.googleusercontent.com/pw/ABLVV87R4_4CsjlemTJwBrA40kEHNe96Rln5A5BdhhHU4SuhFxd1Sf6Cf0xfPge-9V8KWyfquTjX3g2y-R43pZpCgd6Xupn12FDR-oKhghmye-CbayW7WrLX5CjzErDS-Pg9ChzGXN7c4442EvrcsV7SD3nIfQ=w959-h539-s-no-gm?authuser=0#.jpg https://lh3.googleusercontent.com/pw/ABLVV856XerdMc5-I_QJFkDi5Q6hOpYm9S3f7p13oGUxzi0UD4eWhonoPbtBUYkVUyXafoVasoW3ZrQU1xKlnjsGAM-O4kMK1qanXfvqFrKljepgKWchnKuafJjyPsiYtqp7-MaE5wo8VTLhO_LUslJICmvMmQ=w959-h539-s-no-gm?authuser=0#.jpg
https://lh3.googleusercontent.com/pw/ABLVV85SXEebsBMT6ZhbWrYQiIXeDaIbTlJdfR2Fgc4yOkOsBxxoe-Dmd20z1FWqGRSDdVBPbwrgU2F0cjQfE31AokEZt8J_YwXDSEzVGbxM__-0cSs2N5dauwnDV5RCIOJphzg82pb9xMIxn9u1xY9kCuDObw=w959-h270-s-no-gm?authuser=0#.jpg
https://youtu.be/fWhbtSgltVc
Caption
《Sonic Aquarium -Resonance-》 は、魚と人間との音を使ったコミュニケーション・インタラクションを行うインスタレーション作品である。
魚の鑑賞方法は視覚に限定されていて、鑑賞する際は水槽を介する場合多く、魚の動きを一方的に眺めることが多い。そこで私たちは、人間が魚に介入し視覚だけではなく聴覚でも鑑賞できる仕組みを作り、それを使って音楽演奏をしたいと考えた。
このプロジェクトでは、魚類の中でも金魚を起用する。金魚は、内耳と側線という器官が発達しており、高い聴覚能力を持っている。私たちはこの聴覚能力を応用してどのような音が金魚を刺激させるのかを検証・選定し、その音を使ったインタラクションを設計する。
金魚の水槽中の動きを深層学習による物体認識モデルのYOLO v5用いて推定し、それをパフォーマンス空間にレーザーを使って示し、それをパフォーマーが追いかけて近づくと、水槽中の水中スピーカーから金魚を刺激する音が鳴り、金魚が刺激される。パフォーマンス空間に配置されたスピーカーから刺激された金魚の動きに応じて音が鳴る。このように金魚とパフォーマーは追う・逃げるというコミュニケーションから生成されるサウンドを変化させることで演奏となる。
演奏の音は金魚の位置・どの程度刺激されたか、そしてパフォーマーとの距離によって変化する。金魚の位置はパフォーマンス空間のサラウンド環境の定位に同期している。これにより金魚の動きを音で感じやすくなる。刺激の程度が大きいほどリズムは速くなる、金魚とパフォーマーの距離が小さいほど音量は大きく、音色は様々なエフェクトが作用し、音が重ねられ豊かになっていく。
Sonic Aquarium
https://youtu.be/7j8HI5-rkBw
Caption
家庭での水槽や水族館の水槽の中で鳴っている音は鑑賞者には届かない.また,水槽の中にいる生き物には鳴き声など人間の耳によく聴こえる音を発するものは少なく,水槽から直接鑑賞者に届く音情報は非常に少ない.そのため家庭や水族館の水槽では視覚に重きを置いた鑑賞体験に限定されている場合が多い.そこで,《Sonic Aquarium》は,水槽の中の金魚の動きから音を生成し,水槽の中と音が同期された,聴覚から水槽を鑑賞できる仕組みとなっている.また,金魚とその動きから生成された音の関わりを映像で可視化することで,聴覚・視覚で楽しめるような新しい鑑賞体験を提示する.
加えて,金魚は音を認知することができ,音を聞き分けたり,音に敏感であるという特徴を活かし,特定の楽器を金魚に学習させた.それにより,鑑賞者が楽器を水槽の近くで演奏することで,その楽器の音に反応して金魚は普段の動きより激しい動きになったり,その音に誘導されるような動きをし,そこから音を生成し,人間と魚のセッションを行う.それにより鑑賞者と金魚の新たなインタラクションを図る.また,楽器の音に反応した金魚の動きはより優美に見え,これは視覚にも強い影響を与える.
Credit
Ayaka Sakakibara
Sound Design
Santa Naruse
Visual Programming / System Programming
Exhibition/Events
Award
ISCA INTERNATIONAL STUDENTS CREATIVE AWARD 2022 デジタルコンテンツ部門 入選